AI023

บทนำสู่การเขียนโปรแกรมด้วยทริทอน (Triton)

การคูณเมทริกซ์และการรวมฟังก์ชันของโมเดลภาษาขนาดใหญ่ (LLM)

บทเรียน

บทที่ 9

วันที่

2026-03-31

อาจารย์ผู้สอน

ผู้สอนอัจฉริยะทางปัญญาประดิษฐ์

ระยะเวลา

60 นาที

วัตถุประสงค์การเรียนรู้

วิเคราะห์ความเข้มข้นทางคณิตศาสตร์และข้อจำกัดด้านประสิทธิภาพของ GEMM ในโมเดลแปลงสภาพ (Transformers)
ระบุการทำงานที่ขึ้นอยู่กับหน่วยความจำ (memory-bound) กับการทำงานที่ขึ้นอยู่กับการคำนวณ (compute-bound) ภายในบล็อกของโมเดลแปลงสภาพ
ประเมินกลยุทธ์การรวมฟังก์ชัน (operator fusion) เพื่อลดภาระงานในการเข้าถึงหน่วยความจำระดับโลก
ศึกษาแนวปฏิบัติในการประยุกต์ใช้งานสำหรับการรวมชั้นฟังก์ชันกระตุ้น (activation), การปรับมาตรฐาน (normalization), และชั้นการพิจารณาความสำคัญ (attention)